726. Орлов А.И. Программа по курсу «Методы анализа данных». – М.: МФТИ, 2011. – 8 с.

Министерство образования и науки Российской Федерации

федеральное агентство по образованию

Государственное образовательное учреждение высшего профессионального образования «Московский физико-технический институт (государственный университет)»

УТВЕРЖДАЮ
Проректор по учебной работе

_____________ Е.В. Глухова

«_____» ______________ 20__  г.

ПРОГРАММА
по курсу «Методы анализа данных»
по направлению…………………………………………………………
факультет             ФИВТ
кафедра             оценка эффективности инвестиционных проектов
курс   4
семестр   7     ………      …..    Дифференцированный зачет……..…7 семестр……
лекции                 24 часа
семинарские занятия  10 часов…………………………………………………
самостоятельная работа  17 часа -    1 час в неделю
Всего часов                         51  час
Программу составил
А. И. Орлов, д. э. н., д. т. н. 

Программа обсуждена на заседании кафедры __  «__________» 20__ года
Заведующий кафедрой 				 В.Н.Лившиц

Краткая программа курса «Методы анализа данных»

Цель курса: овладение будущим бакалавром основами базовых статистических методов анализа конкретных экономических данных и выявления закономерностей развития и взаимосвязи экономических явлений и процессов на уровне, достаточном для использования в практической деятельности. 

Основные задачи курса:
•	изучение базовых статистических методов и моделей;
•	изучение методов расчета средних величин, показателей вариации, индексов;.
•	овладение современными статистическими методами и моделями, в том числе методами анализа количественных и качественных данных, моделями и методами экспертного оценивания;
•	знакомство с организационно-экономическими моделями риска, инфляции, управления качеством;
•	знакомство с современными методами организационно-экономического моделирования, предназначенными для разработки и принятия управленческих решений.

3. Место курса в профессиональной подготовке выпускника.
Для усвоения курса необходимо знакомство студента с общематематическими дисциплинами (такими, как математический анализ, линейная алгебра, дискретная математика, исследование операций), теорией вероятностей и математической статистикой, общим курсом статистики, основами экономической теории.

4. В конце курса студент должен знать:
•	основные статистические методы анализа эмпирических экономических данных;
•	базовые идеи, модели, методы и результаты выборочных исследований, 
•	основы теории измерений, 
•	методы статистического анализа числовых, векторных и нечисловых данных, 
•	методы анализа временных рядов, 
•	методы сбора и анализа экспертных оценок;
•	основы статистического приемочного контроля.

В конце курса студент должен уметь:
•	строить статистические модели;
•	применять методы описания и анализа статистических данных;
•	проводить статистический анализ результатов выборочных исследований;
•	спланировать и провести статистическое исследование
•	строить статистические модели, применять методы описания данных, оценивания, проверки гипотез
•	провести анализ и синтез планов статистического приемочного контроля.

В конце курса студент должен иметь навыки:
•	проведения сбора и анализа конкретных технико-экономических данных на основе базовых статистических методов;
•	проведения первичной обработки данных, построения таблиц, диаграмм, сводок и группировок, рядов распределения, расчета основных статистических показателей;
•	построения и анализ рядов динамики, использования коэффициентов корреляции и индексов.

Содержание курса

1.	Общее представление о методах анализа данных.
2.	Выборочные исследования.
3.	Проверка гипотезы однородности двух независимых выборок.
4.	Метод наименьших квадратов.
5.	Методы анализа данных о динамике потребительских цен.
6.	Теория измерений и средние величины.
7.	Основы анализа нечетких и интервальных данных.
8.	Технологии сбора и анализа экспертных данных.
9.	Статистический приемочный контроль.

Краткое содержание тем

1. Первая статистическая публикация – описание процедуры и результатов переписи военнообязанных в книге «Числа» Ветхого Завета. 
Статистическая хронология.
Основные этапы развития представлений о статистике. 
Структура статистической науки (математическая статистика – прикладная статистика – статистические методы в предметных областях). 
2. Необходимость выборочных исследований. Анкетное исследование (на примере маркетингового исследования потребителей растворимого кофе). 
Различные виды формулировок вопросов (открытый, закрытый, полузакрытый вопросы), их достоинства и недостатки. 
Биномиальная и гипергеометрическая модели выборки, их близость в случае большого объема генеральной совокупности по сравнению с выборкой. 
Асимптотическое распределение выборочной доли (в случае ответов типа «да» - «нет»). Интервальное оценивание доли и метод проверки гипотезы о равенстве долей. 
3. Отличие распределений результатов наблюдений от нормальных. Необходимость применения непараметрических методов. 
Различные формулировки гипотезы однородности двух независимых выборок.  
Критерий Крамера-Уэлча для проверки равенства математических ожиданий.  Двухвыборочный критерий Вилкоксона (Манна-Уитни). Принятие решения (при проверке гипотезы однородности) на основе асимптотической нормальности статистики критерия Вилкоксона. 
Состоятельные критерии согласия и однородности Колмогорова, Крамера-Мизеса-Смирнова, Смирнова, Лемана-Розенблатта. 
4. Метод наименьших квадратов для линейной прогностической функции. Подход к оцениванию параметров. Критерий правильности расчетов. Оценка остаточной дисперсии. Точечный и интервальный прогноз. 
МНК для сгруппированных данных. МНК для модели, линейной по параметрам. Оценивание коэффициентов многочлена. Преобразования переменных. Случай нескольких независимых переменных (регрессоров). Оценивание параметров функции Кобба-Дугласа. 
Оценка остаточной дисперсии - критерий качества эконометрической модели. Коррекция на число параметров. Типовое поведение остаточной дисперсии при расширении множества регрессоров. Оценка степени полинома и описание асимптотического поведения этой оценки (геометрическим распределением со сдвигом). 
5. Инфляция как рост цен. Потребительские корзины. Определение индекса инфляции. Расчет индекса инфляции. Теорема умножения для индекса инфляции. Средний индекс (темп) инфляции. Теорема сложения для индекса инфляции. Виды инфляции: спроса, издержек, административная. 
Применения индекса инфляции. Приведение к сопоставимым ценам. Прожиточный минимум. Вклады в банки и кредиты. Курс доллара в сопоставимых ценах. Паритет покупательной способности в международных сопоставлениях. 
6. Основные понятия (репрезентативной) теории измерений. Определения, примеры, группы допустимых преобразований для шкал наименований, порядка, интервалов, отношений, абсолютной. Требование устойчивости статистических выводов относительно допустимых преобразований шкал. Почему нельзя применять среднее арифметическое при анализе данных, измеренных в порядковой шкале? 
Различные виды средних величин. Средние степенные и структурные средние. Среднее геометрическое, максимум, минимум как пределы степенных средних. Среднее геометрическое не превосходит среднего арифметического. Средние по Коши и средние по Колмогорову, их частные виды. Урезанные средние и представление о робастности (устойчивости) статистических процедур. 
Средняя заработная плата для условного предприятия. Средние по Коши и описание средних, результат сравнения которых устойчив в порядковой шкале. Средние по Колмогорову и описание средних, результат сравнения которых устойчив в шкалах интервалов и отношений. 
7. Описание неопределенностей с помощью теории нечетких множеств. Алгебра нечетких множеств. Сведение теории нечетких множеств к теории случайных множеств. 
Погрешности измерения и интервальные данные. Операции над интервальными числами. 
Основная модель интервальной статистики. Понятие нотны - максимально возможного отклонения, вызванного интервальностью статистических данных. Расчет асимптотической нотны (для малой абсолютной погрешности). 
8. Примеры процедур экспертного оценивания. Их использование в соревнованиях, при выборе, распределении финансирования. Военный Совет в Филях (1812 год). Метод Дельфи. Мозговой штурм. Экологические экспертизы. Различные варианты организации экспертного исследования, различающиеся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями («мозговой штурм», Совет в Филях) или без ограничений). Нахождение итогового мнения экспертов: методы средних арифметических и медиан рангов. Построение согласующей ранжировки. 
9. Статистический приемочный контроль - выборочный контроль, основанный на эконометрической теории. Его необходимость и эффективность. Планы контроля по альтернативному признаку. Одноступенчатый контроль. Оперативная характеристика. Риски поставщика и потребителя, приемочный и браковочный уровни дефектности. Расчеты для плана (n,0). 
Контроль с разбраковкой. Средний выходной уровень дефектности и его предел (ПСВУД). Расчет ПСВУД для плана (n, 0). Выбор плана контроля на основе ПСВУД. 
Расчет приемочного и браковочного уровней дефектности для одноступенчатого плана с помощью теоремы Муавра-Лапласа. Выбор одноступенчатого плана контроля по заданным приемочным и браковочным уровням дефектности на основе асимптотических соотношений, вытекающих из теоремы Муавра-Лапласа. 

Вопросы по курсу

1. Расскажите о первой статистической  публикации – описании процедуры и результатов переписи военнообязанных в книге «Числа» Ветхого Завета. 
2. Каковы основные идеи и результаты статистической  хронологии?
3. Каковы основные этапы развития представлений о статистике?
4. Расскажите о внутренней структуре статистической науки.
5.Обоснуйте необходимость выборочных исследований. 
6. Разберите пример анкетного исследования.
7.Сравните различные виды формулировок вопросов в анкетах.
8. Чем различаются биномиальная и гипергеометрическая модели выборки, в каких случаях они близки?
9. Каково асимптотическое распределение выборочной доли (в случае ответов типа «да» - «нет»)?
10.Как строят доверительный интервал при оценивании вероятности?
11. Как проверяют гипотезу о равенстве вероятностей – параметров двух биномиальных распределений?
12. Часто ли распределения результатов наблюдений являются нормальными?
13. Чем вызвана необходимость применения непараметрических методов? 
14. Опишите систему различных формулировок гипотезы однородности двух независимых выборок.  
15. В чем состоит критерий Крамера-Уэлча для проверки равенства математических ожиданий?
16. В чем состоит двухвыборочный критерий Вилкоксона (Манна-Уитни)?
17. Как происходит принятие решения (при проверке гипотезы однородности) на основе асимптотической нормальности статистики критерия Вилкоксона? 
18. Что означает состоятельность для критериев согласия и однородности?
19. Расскажите о критерии  Колмогорова.
20. Расскажите о критерии Крамера-Мизеса-Смирнова.
21. Расскажите о двухвыборочном критерии Смирнова.
22. Расскажите о критерии Лемана-Розенблатта. 
23. Какова основная идея метода наименьших квадратов?
24. Почему метод наименьших квадратов (МНК) победил в конкурентной борьбе другие методы восстановления зависимостей?
25. Как реализуется метод наименьших квадратов для линейной прогностической функции?
26. Как формулируется критерий правильности расчетов при реализации МНК?
27. Как оценивают остаточную дисперсию?
28. Как рассчитывают точечный и интервальный прогноз?
29. Каковы особенности МНК для сгруппированных данных?
30. Почему МНК применяют для модели, линейной по параметрам?
31. Как оценивают коэффициенты многочлена?
32. Как в МНК применяют преобразования переменных?
33. Каковы особенности МНК для случая нескольких независимых переменных (регрессоров)?
34. Как оценивают параметры функции Кобба-Дугласа? 
35. Как оценку остаточной дисперсии используют в качестве критерия качества эконометрической модели?
36. Как проводят коррекцию на число параметров?
37. Каково типовое поведение остаточной дисперсии при расширении множества регрессоров?
38. Как построена оценка степени полинома?
39. Дайте описание асимптотического поведения оценки степени полинома (с помощью геометрического распределения со сдвигом). 
40. Как соотносится инфляция и рост цен?
41. Дайте определение потребительской корзины. 
42. Дайте определение индексу инфляции.
43. Как рассчитывают индекс инфляции?
44. Докажите теорему умножения для индекса инфляции.
45. Как применяют теорему умножения для индекса инфляции.
46. Как определяют и рассчитывают средний индекс (темп) инфляции?
47. Докажите теорему сложения для индекса инфляции. 
48. Как применяют теорему сложения для индекса инфляции. 
49. Расскажите о видах инфляции: спроса, издержек, административная. 
50. Расскажите о применениях индекса инфляции. 
51. Почему необходимо проводит приведение к сопоставимым ценам?
52. Расскажите о методе Оршански расчета прожиточного минимума.
53. Как найти реальный процент платы за депозит?
54. Как найти реальный процент платы за кредит?
55.Выразите курс доллара в сопоставимых ценах. 
56. Как используется паритет покупательной способности в международных сопоставлениях?
57. Расскажите об основных понятиях (репрезентативной) теории измерений. 
58. Дайте определения, приведите примеры, опишите группы допустимых преобразований для шкал наименований, порядка, интервалов, отношений, разностей, абсолютной. 
59. Сформулируйте требование устойчивости статистических выводов относительно допустимых преобразований шкал. 
60. Почему нельзя применять среднее арифметическое при анализе данных, измеренных в порядковой шкале? 
61. Расскажите о различных видах средних величин – о степенных средних и структурных средних.
62. Докажите, что среднее геометрическое, максимум, минимум являются пределами степенных средних. 
63. Докажите, что среднее геометрическое не превосходит среднего арифметического. 
64. Что такое средние по Коши? 
65. Что такое средние по Колмогорову?
66. Как урезанные средние связаны с представлением о робастности (устойчивости) статистических процедур. 
67. Какие статистические характеристики используют для описания средней заработной платы на предприятии.
68. Дайте описание средних по Коши, результат сравнения которых устойчив в порядковой шкале. 
69. Дайте описание средних по Колмогорову, результат сравнения которых устойчив в шкале интервалов. 
70. Дайте описание средних по Колмогорову, результат сравнения которых устойчив в шкале и отношений. 
71. Как описывают неопределенности с помощью теории нечетких множеств?
72. Чем алгебра нечетких множеств отличается от алгебры (обычных) множеств?
73. Как проводят сведение теории нечетких множеств к теории случайных множеств. 
74. Как погрешности измерения связаны с интервальными данными?
75. Как проводят операции над интервальными числами?
76. Расскажите об основной модели интервальной статистики. 
77. Дайте определение понятию нотны - максимально возможного отклонения, вызванного интервальностью статистических данных. 
78. Как проводят расчет асимптотической нотны (для малой абсолютной погрешности)?
79. Приведите примеры процедур экспертного оценивания. 
80. Расскажите об использовании экспертных оценок в соревнованиях, при выборе, распределении финансирования. 
81. Рассмотрите Военный Совет в Филях (1812 год) как пример заседания комиссии экспертов.
82. Что такое метод Дельфи? 
83. Что такое мозговой штурм?
84. Как проводят экологические экспертизы?
85. Расскажите о различных вариантах организации экспертного исследования, различающихся по числу туров (один, несколько, не фиксировано), порядку вовлечения экспертов (одновременно, последовательно), способу учета мнений (с весами, без весов), организации общения экспертов (без общения, заочное, очное с ограничениями («мозговой штурм», Совет в Филях) или без ограничений). 
86. Как находят итоговое мнение экспертов по методу средних арифметических и методу медиан рангов. 
87. Как строят согласующую ранжировку?
88. Что такое статистический приемочный контроль?
89. Почему необходимо применять статистический приемочный контроль?
необходимость и 
90. Какова эффективность статистического приемочного контроля?
91. Расскажите о планах контроля по альтернативному признаку. 
92. Что такое одноступенчатый контроль?
93. Что такое оперативная характеристика плана контроля?
94. Что такое риски поставщика и потребителя? 
95. Что такое приемочный и браковочный уровни дефектности? 
96. Как проводят расчеты для плана (n,0)?
97. Что такое контроль с разбраковкой. 
98. Что такое средний выходной уровень дефектности и его предел (ПСВУД)?
99. Как проводят расчет ПСВУД для плана (n, 0)?
100. Как осуществляют выбор плана контроля на основе ПСВУД?
101. Как проводят расчет приемочного и браковочного уровней дефектности для одноступенчатого плана с помощью теоремы Муавра-Лапласа?
102. Как осуществляют выбор одноступенчатого плана контроля по заданным приемочным и браковочным уровням дефектности на основе асимптотических соотношений, вытекающих из теоремы Муавра-Лапласа?

Распределение часов по разделам
Раздел	Количество часов	
	Лекции	Семинары	Лабораторные занятия и консультации	
Общее представление о методах анализа данных.	2	-	-	
Выборочные исследования.	2	1	3	
Проверка гипотезы однородности двух независимых выборок.	2	1		
Метод наименьших квадратов.	4	2	3	
Методы анализа данных о динамике потребительских цен.	4	1	3	
Теория измерений и средние величины.	2	1	1	
Основы анализа нечетких и интервальных данных	2	1	1	
Технологии сбора и анализа экспертных данных.	4	2	3	
Статистический приемочный контроль	2	1	3	
ВСЕГО	24	10	17	

Литература

1. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2009. – 541 с. (http://www.ibm.bmstu.ru/nil/biblio.html#books-02-hsstat ).
2. Орлов А.И. Прикладная статистика. Учебник. - М.: Экзамен, 2006. - 671 с. (http://orlovs.pp.ru/stat.php#k1).
3. Орлов А.И. Теория принятия решений. Учебник. - М.: Экзамен, 2006. - 576 с (http://orlovs.pp.ru/stat.php#k5).
4. Орлов А.И. Эконометрика. Учебник для вузов. – М.: Экзамен, 2002, 2003, 2004. – 576 с. – Главы 2, 3, 4, 7, 8, 12, 13. (http://orlovs.pp.ru/econ.php).
5. Материалы сайта «Высокие статистические технологии» http://orlovs.pp.ru/ и его форума. 
6. Материалы Библиотеки Лаборатории экономико-математических методов в контроллинге http://www.ibm.bmstu.ru/nil/biblio.htmlё